MotionCoach：构建多模态引导实现视频专业动作编辑
🧭 Agent 多模态引导视频编辑 ★ 深度解读
Peking University · Alibaba Token Hub, Alibaba Group · University of Science and Technology of China · Zhejiang University
训练多模态Agent自动搜索、验证并裁剪动作参考，输出grounded prompt与reference clip，显著提升冻结视频编辑模型的专业动作编辑能力。
📌 工作参考价值（4 点）
- 借鉴“冻结生成模型 + 轻量 Agent 策略”的分离架构：在商品视频生成、广告创意生成中，不重新训练底模，训练一个 VLM Agent 来构造可靠的参考素材和 grounded prompt（包含关键卖点、时间结构、负向约束），可低成本适配垂直类目。
- 借鉴 self-verification 与 tool use：类似 RAG 中的检索后验证，在电商视频编辑中 Agent 可以搜索候选商品素材、检查是否展示正确商品和动作，自验证后裁剪出最有用的片段，避免错误参考导致生成偏差；该逻辑可用于广告素材自动剪辑和生成。
- 借鉴 RL 奖励设计：用三个奖励（prompt 质量、下游生成结果、格式）训练 Agent，尤其以冻结编辑器实际生成的视频作为奖励信号；在推荐/搜索中，可训练 Agent 生成 query 解释或推荐理由，奖励包括文本质量和最终转化/点击模型评分，形成闭环。
- 数据流水线：teacher 模型生成轨迹 + VLM/程序化检查 + 人工抽检，快速构建 SFT/RL 数据，适合缺少标注的垂直领域。
OSReward：建立跨平台计算机使用奖励模型的标准化评估基准
🧭 计算机使用Agent奖励模型评估
The University of Hong Kong · Nanjing University · National University of Singapore · University of Science and Technology of China · Xi'an Jiaotong University
揭示VLM评判器普遍存在宽松偏差，并推出低成本开源奖励模型OS-Shepherd实现可靠自动化评估
📌 工作参考价值（3 点）
- 警惕LLM-as-Judge中的宽松偏差：在电商搜索、推荐系统的离线评估或RLHF reward模型中，若直接使用商业VLM作为评判器，可能系统性地将失败案例误判为成功，需通过构建类似OSReward-Hard的对抗样本集进行可靠性校准。
- 用reasoning标注蒸馏小型评估器：借鉴OS-Shepherd的思路，收集专家推理标注的评估数据集，训练7-9B的小模型替代GPT-4o等大模型作为评估器，实现30-60倍成本下降，同时保持高一致性，适合大规模线上监控或离线评估。
- 多维度细粒度评分设计：可迁移OSReward-Multi的评分框架，在推荐业务中将评估分解为效率、对齐、多样性等子维度，便于定位Agent或推荐策略的具体短板。
AutoRubric-T2I：基于自动规则学习的可解释 T2I 奖励模型
🧭 自动规则学习构建可解释 VLM 奖励模型
University of California, Los Angeles · Arena
自动从少量偏好对合成判别规则构建 VLM 法官，仅用 0.01% 标注数据超越强基线
📌 工作参考价值（4 点）
- 用极少偏好对（<0.01% 标注数据）自动合成评估规则，结合 L1 正则化逻辑回归筛选 Top 判别规则，大幅降低奖励模型训练成本，可用于电商多模态评估（如商品图与描述的对齐检测）。
- VLM 法官通过显式 rubrics 打分，提供细粒度、可解释的奖励信号，适合需审计和调试的生成式推荐场景（例如解释为什么某张生成商品图更符合描述）。
- 框架可泛化：用 LLM 从用户反馈中自动提取评估维度，再通过特征选择保留关键维度，在推荐系统中构建可解释的用户偏好奖励模型。
- ℓ1-Regularized Logistic Regression Refiner 作为通用的特征选择 trick，可迁移到任何需要从大量候选指标中筛选最有区分力维度的任务（例如从评论关键词中提取影响点击/转化的核心因子）。